期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 优化搜索空间下带约束的可微分神经网络架构搜索
李建明, 陈斌, 江志伟, 覃健
《计算机应用》唯一官方网站    2022, 42 (1): 44-49.   DOI: 10.11772/j.issn.1001-9081.2021010170
摘要363)   HTML17)    PDF (603KB)(102)    收藏

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从而导致算法搜得的架构表现欠佳,针对该问题设计了优化的搜索空间;然后,分析了DARTS超网络与派生架构之间的差异后,以架构参数为基础定义了架构熵,并把架构熵作为DARTS超网络目标函数的约束项,从而促使超网络缩小与派生架构的差异;最后,在CIFAR-10数据集上进行了实验。实验结果表明,所提算法在其中搜得的架构取得了97.17%的分类准确率,综合准确率、参数量和搜索时间优于对比算法。所提出的算法是有效的,提升了搜得架构在CIFAR-10数据集上的准确率。

图表 | 参考文献 | 相关文章 | 多维度评价